Enhancing Virtual Agents through SLMs and Edge-Computing: An Exploratory Evaluation of Think and Memory Processes
基于小语言模型与边缘计算的虚拟Agent思考与记忆过程探索
🧭 边缘SLM驱动的Agent认知架构评估
University of Central Lancashire, Cyprus
在边缘设备上用小语言模型实现虚拟Agent的Think与Memory组件,验证路由、记忆读取与延迟的可行性
📌 工作参考价值(4 点)
- 边缘部署小模型分担路由与记忆读取任务,可降低电商客服/推荐Agent的云端依赖和响应延迟,适合实时交互场景。
- 将Agent认知拆分为Think、Memory等独立组件,分别用不同尺寸SLM处理,按延迟和准确率权衡选型,可作为线上Agent架构设计参考。
- 记忆驱动对话系统的设计:SLM负责判断是否需要读取记忆、检索相关信息并生成回复,可用于多轮推荐解释或用户偏好追踪。
- 评估维度可直接复用:路由准确率、记忆读取成功率、端到端延迟,用于对比不同SLM在业务Agent中的性能。